MintAct: A Unified Visual Agent for Digital Environments
MintAct:统一数字环境的视觉Agent模型
🧭 多模态Agent统一数字环境操作
Apple
用2B/4B/8B视觉语言模型统一UI定位、跨端多步导航与视觉工具调用,匹配各领域专用模型
📌 工作参考价值(4 点)
- 在电商/广告场景中,可将UI grounding、跨页面多步操作、外部工具调用合并为一个模型,避免为不同端或不同任务维护多个专用Agent,降低部署和迭代成本。
- 借鉴其异步RL框架:显式控制跨域训练分布,能缓解环境反馈噪声和off-policy漂移;做推荐/Agent在线学习时,可参考这种对训练分布的控制来稳定多任务协同。
- 用数百个并发实例同时服务轨迹采集和在线RL的做法,适合需要大量交互数据的电商Agent、搜索导购Agent训练。
- 2B小模型即可在OSWorld-Verified等基准上取得有竞争力的表现,对需要端侧部署的App内助手、广告落地页交互优化有直接参考价值。